![arxiv：2407.21654v1 [cs.cv] 2024年7月31日](/simg/e/eea76ff78a5e1b25306a95443ed7ef0f1c6b852c.webp)
机构名称：
¥ 1.0
摘要。最近的方法表明，诸如剪辑之类的大规模视觉模型可以改善语义分割性能。这些方法通常是针对像素级视觉语言对准的，但通常依赖于剪辑中的低分辨率图像特征，从而导致沿边界的类歧义。此外，剪辑文本嵌入中的全局场景代表与本地和详细的像素级特征直接相关，从而使有意义的对齐变得更加困难。为了解决这些局限性，我们介绍了MTA-CLIP，这是一个采用面具级别视觉语言对准的新型框架。具体来说，我们首先提出了掩码文本解码器，该解码器使用夹夹语言模型使用丰富的文本数据来增强掩码代表。接下来，它使用掩码到文本对比度学习将蒙版表示与文本嵌入一致。此外，我们介绍了蒙版 - 文本提示学习，利用多个上下文特定的提示文本嵌入来捕获跨口罩的各种班级表示。总体而言，MTA-CLIP可以实现最先进的工作，在标准基准数据集，ADE20K和CityScapes上平均超过2.8％和1.3％。
arxiv：2407.21654v1 [cs.cv] 2024年7月31日
主要关键词
![arxiv：2407.21654v1 [cs.cv] 2024年7月31日PDF文件第1页](/bimg/f/f4bad79ba1c164e3e2b4a23431bbb565811a15a5.webp)
![arxiv：2407.21654v1 [cs.cv] 2024年7月31日PDF文件第2页](/bimg/6/64cfd356eedf338662f9c4f98e8d0188e6dc0aa7.webp)
![arxiv：2407.21654v1 [cs.cv] 2024年7月31日PDF文件第3页](/bimg/4/4156861dd444c89468e03ee4322d8d929cfe0637.webp)
![arxiv：2407.21654v1 [cs.cv] 2024年7月31日PDF文件第4页](/bimg/7/7a425c16e063f1f68924c02f9c200d9deca36ec8.webp)
![arxiv：2407.21654v1 [cs.cv] 2024年7月31日PDF文件第5页](/bimg/c/c354ded9d0b893fc7a62873b8a71a15ae539bae2.webp)
相关文件推荐
![arxiv：2407.17032v1 [cs.lg] 2024年7月24日-Eprints Soton](/simg/2/2f4040608edfe5361b3884f81cfb901afe4ce241.webp)
![arxiv：2407.02109v2 [cs.cv] 2024年11月23日](/simg/a/ae4d53ed1d1cc0ff7fb46a3f603ec01aff994b63.webp)
![arxiv：2407.00460v1 [cs.ai] 2024年6月29日](/simg/4/4f43cce67d295b5b9c973772f056066aa0df40c7.webp)
![arxiv：2402.00199v1 [cs.ro] 2024年1月31日](/simg/e/ee7df0852113cb2e9395d1f5f6861b37ca99386c.webp)
![arxiv：2407.00028v1 [q-bio.nc] 2024年5月14日](/simg/3/3511ccf4b2a5339f70699ceb0844b9aa12d77600.webp)
![arxiv：2303.16900V2 [CS.CV] 2024年12月31日](/simg/7/7fbd38e5186adbb4127c602f7882076c73aa6525.webp)
![arxiv：2401.05363v4 [eess.sp] 11月11日，2024年7月](/simg/b/ba1742bc77a8dfbb6a8152d56fd2735a158fea04.webp)
![arxiv：2303.09043v2 [CS.CR] 2024年7月28日](/simg/1/10e68db7e92d675b8dbfeb377daf9849df6d7709.webp)